#爬虫
#网络请求
# www.baidu.com -- url 统一资源符
#请求过程 客户端,指web浏览器向服务器发送请求
#请求
# 请求网址 -- request url
# 请求方法 -- request methods
# 请求头 -- request header
# 请求体 -- request body
#F12 查看请求响应
#爬虫作用
# 1数据采集 2软件测试 3抢票 4网络安全 5web漏洞扫描
# 只能获取客户端展示出来的数据
#爬虫分类 根据爬取数量网站不同 根据获取数据的目的
# 1通用爬虫 2聚焦爬虫     1功能性爬虫 2数据增量爬虫
#爬虫基本流程
# 确定url --> 对url发起请求 --> 获取返回数据 --> 解析数据,提取想要的数据 -->保存数据
#robots协议 robots.txt
# 一个约定俗成的协议 在网站内写着你可以获取的数据,和不让你获取的数据 可以通过修改协议,获取更多想要内容
#网络协议
# url (域名)
# DNS服务器(ip地址标注服务器) 负责返回ip给浏览器
# 浏览器拿着ip去访问服务器,返回响应
# 响应包含 .html .css .js .jpg等内容
#网络通信实际
# 一个请求只返回一个数据包(文件)
# 网站由多个数据包共同组成 比如说一个包里装html 一个装css 等
#http和https协议
# 规定服务器与客户端之间通信的规则
# http 超文本传输协议 默认端口80 超文本:包含图片,视频,文字等 传输协议:使用约定的固定格式传递传换成字符串的超文本内容
# https http+ssl(安全套接字层) 默认端口443 ssl:对传输内容进行加密
# https 比 http 更安全,但性能低
#http请求响应的步骤
# 客户端连接到web服务器
# 发送http请求
# 服务器接收请求并返回响应
# 释放连接tcp连接
# 客户端分析html内容
#抓包前分析数据
# 浏览器抓包工具F12打开,选择网络
# 分析请求头,再看响应内容里有没有我们想要的数据
#请求头
# 格式: 请求方法 url 协议版本
# 请求方式: get和post get向服务器要资源 post向服务器提交资源
#请求头一般要带字段
# user-agent 模仿正常用户
# cookie 登录保持
# referer 当前的这一次请求从哪来的